昨天我們學會了如何評測一個大模型的實力,但其實無論再強的 LLM,也都還是避免不了幻覺的產生,這是因為 LLM 只能依靠訓練時的記憶,無法即時取得最新資料。
今天,我們要用 RAG(Retrieval-Augmented Generation)檢索增強生成,讓模型具備「即查即答」的能力。
RAG(Retrieval-Augmented Generation,檢索增強生成)是一種能讓大模型可以「結合外部知識庫」進行問答的技術,讓模型不再完全依賴訓練記憶,而是可以動態的從外部資料中檢索相關內容,再進行生成。
RAG 的出現,解決了幾個傳統 LLM 的幾個關鍵問題:
減少幻覺(Hallucination):LLM 在知識不足時容易亂講話,例如捏造不存在的法條或人物,RAG 可以透過檢索真實文件,讓答案有「依據」,大幅降低幻覺問題。
即時性與可更新性:傳統模型一旦訓練完畢,知識就固定了,RAG 只要更新知識庫,就能讓模型即時學到新資料,例如最新研究報告或政策文件。
成本更低、靈活性更高:相比重新微調模型(Fine-tune),RAG 不需重新訓練,只要建立向量資料庫即可。
支援私有資料與企業應用:RAG 可以將內部文件(SOP、年報、客服記錄)整合進模型,讓企業打造「專屬知識 AI 助手」,而不必把資料上傳到雲端模型中,降低隱私風險。
RAG 通常包含四個步驟:
明天繼續進入下一個接段,RAG 系統實作!